Mặc dù có nhiều mô tả khác nhau về nguồn gốc của mình, người Thổ Gia có thể theo dõi lịch sử của họ hơn mười hai thế kỷ trở lại đây, và có thể sớm hơn nữa, tới người Ba cổ tại Ba Quốc 2500 năm trước đây (xung quanh Trùng Khánh ngày nay). Ba Quốc đã đạt đến đỉnh cao của quyền lực giữa 600 TCN và 400 trước Công nguyên nhưng đã bị nhà Tần tiêu diệt năm 316 trước Công nguyên. Sau khi được gọi bằng một loạt các tên khác nhau trong các tài liệu cổ xưa, dân tộc này có trong ghi chép lịch sử với tên Thổ Gia từ khoảng thế kỷ 14 trở đi.